Khi Đảng Cộng sản Việt Nam được thành lập vào ngày 3 tháng 2 năm 1930, người đứng đầu điều hành Ban Chấp hành Trung ương Đảng đầu tiên với cương vị Phụ trách Điều hành Ban Chấp hành Trung ương Lâm thời Đảng Cộng sản Việt Nam là Trịnh Đình Cửu (đến tháng 10 năm 1930).

Tháng 4/1930, Trần Phú trở về từ Liên Xô. Theo đề nghị của Nguyễn Ái Quốc, Trần Phú được bầu vào Ban Chấp hành Trung ương lâm thời và được phân công cùng Ban Thường vụ Trung ương chuẩn bị Hội nghị Trung ương lần thứ 1 và dự thảo cương lĩnh chính trị. Hội nghị lần thứ 1 tháng 10/1930 quyết định đổi tên Đảng Cộng sản Việt Nam thành Đảng Cộng sản Đông Dương và bầu Trần Phú làm Tổng Bí thư, đồng thời thông qua Luận cương chính trị. Ông giữ chức vụ tới khi bị Pháp bắt tháng 4/1931. Trong thời gian từ 1931–1935, chức vụ Tổng Bí thư bị khuyết.

Trong thời gian 1930–1931, các tổ chức cộng sản tại Đông Dương lần lượt bị khủng bố. Năm 1932, Quốc tế cộng sản ra chỉ thị xây dựng lại tổ chức cộng sản. Dưới sự chỉ đạo của Lê Hồng Phong. Hội nghị Ban chỉ huy ở ngoài của Đảng Cộng sản Đông Dương được tổ chức tại Macao tháng 6/1934 và Lê Hồng Phong được bầu làm Bí thư Ban Chỉ huy hải ngoại Đảng Cộng sản Đông Dương.

Tại Đại hội lần thứ nhất Đảng Cộng sản Đông Dương, Lê Hồng Phong được bầu làm Tổng Bí thư. Tại Hội nghị Trung ương năm 1936, Ban Chấp hành đã bầu Hà Huy Tập thay cho Lê Hồng Phong làm Tổng Bí thư và về nước tổ chức lại lực lượng cộng sản. Tại Hội nghị Trung ương năm 1938 tổ chức tại Bà Điểm, Hà Huy Tập thôi chức vụ Tổng Bí thư, Ban Chấp hành quyết định bầu Nguyễn Văn Cừ kế nhiệm. Nguyễn Văn Cừ bị thực dân Pháp bắt về kết án năm 1940, Hội nghị Trung ương năm 1940 buộc phải nhóm họp tại Đình Bảng, hội nghị quyết định chỉ định Trường Chinh khi đó là Ủy viên Thường vụ Trung ương làm quyền Tổng Bí thư, và tại Hội nghị năm 1941 được bầu làm Tổng Bí thư.

Cả bốn Tổng Bí thư đầu tiên của Đảng Cộng sản Việt Nam (Trần Phú, Lê Hồng Phong, Hà Huy Tập, Nguyễn Văn Cừ) đều bị thực dân Pháp bắt giam và hy sinh trong quá trình hoạt động cách mạng khi còn khá trẻ (2 người đầu tiên qua đời khi bị giam trong nhà tù Pháp, 2 người sau bị Pháp xử tử hình).

Năm 1945, Cách mạng Tháng Tám thành công, Việt Nam Dân chủ Cộng hòa được thành lập. Việt Nam và thực dân Pháp giao tranh chiến tranh Đông Dương lần thứ nhất. Năm 1951 tại Đại hội Đảng lần thứ II, Đại hội quyết định đổi tên Đảng Cộng sản Đông Dương thành Đảng Lao động Việt Nam đồng thời bầu Hồ Chí Minh làm Chủ tịch Đảng và Trường Chinh tiếp tục giữ chức Tổng Bí thư. Trong thời gian này 1951–1969, chức vụ Chủ tịch Đảng là chức vụ quyền lực nhất của Đảng, lớn hơn cả Tổng Bí thư. Trong thời gian cải cách ruộng đất vì những sai lầm nghiêm trọng, Trường Chinh từ chức Tổng Bí thư. Tại Hội nghị Trung ương Đảng lần thứ 10, khóa II, Hồ Chí Minh với chức vụ Chủ tịch Đảng được Trung ương Đảng phân công kiêm nhiệm chức vụ Tổng Bí thư.[1] Đại hội lần thứ III, thành lập chức vụ Bí thư thứ nhất do Lê Duẩn đảm nhiệm. Chủ tịch Đảng là chức vụ cấp cao nhất, nhưng thực tế Bí thư thứ nhất đảm nhiệm chính công tác của đảng. Sau khi thống nhất năm 1975, Đại hội Đảng lần thứ IV được tổ chức, tên Đảng được đổi thành Đảng Cộng sản Việt Nam và chức vụ được đổi thành Tổng Bí thư. Chức vụ do Lê Duẩn nắm giữ cho tới khi qua đời.

Sau khi Lê Duẩn mất, Trung ương chưa kịp tổ chức Đại hội nên tại Hội nghị đặc biệt tổ chức năm 1986 tại Hà Nội quyết định bầu Trường Chinh khi đó đang đảm nhiệm Chủ tịch Hội đồng Nhà nước làm Tổng Bí thư cho tới Đại hội Đảng được tổ chức. Đại hội Đảng lần thứ VI được tổ chức cuối năm 1986, Đại hội đã bầu Nguyễn Văn Linh khi đó đang là Thường trực Ban Bí thư, sau khi Phạm Văn Đồng, Trường Chinh, Phạm Hùng, Lê Đức Thọ đồng ý cải cách kinh tế xóa bỏ bao cấp chấp thuận người cải cách đảm nhiệm chức vụ. Trường Chinh, Phạm Văn Đồng, Lê Đức Thọ trở thành cố vấn Ban Chấp hành Trung ương với nhiệm vụ giám sát cải cách. Và từ nhiệm kỳ này Tổng Bí thư bắt đầu kiêm nhiệm chức vụ Bí thư Quân ủy Trung ương. Nguyễn Văn Linh được báo chí phương Tây gọi là "Gorbachev của Việt Nam".

Sau khi hết nhiệm kỳ Nguyễn Văn Linh không tiếp tục ứng cử khóa sau và cùng Võ Chí Công làm cố vấn Trung ương thay cho Trường Chinh và Lê Đức Thọ vừa mất trước đó tại Đại hội lần thứ VII, Đại hội cũng quyết định bầu Đỗ Mười làm Tổng Bí thư.

Đỗ Mười làm Tổng Bí thư cho tới Hội nghị Trung ương 8 khóa VIII, sau khi cả ba lãnh đạo cố vấn Trung ương là Phạm Văn Đồng, Nguyễn Văn Linh và Võ Chí Công quyết định rút lui nhường cho 3 lãnh đạo Đảng và Nhà nước Đỗ Mười, Lê Đức Anh, Võ Văn Kiệt chính thức trở thành cố vấn Trung ương và tại Hội nghị cũng quyết định bầu Thượng tướng Lê Khả Phiêu làm Tổng Bí thư.

Tại Đại hội lần thứ IX của Đảng, Nông Đức Mạnh được bầu làm Tổng Bí thư, được coi là người hiện đại hóa và là Tổng Bí thư đầu tiên có bằng đại học. Từ đây về sau Tổng Bí thư tối thiểu phải có bằng đại học, có nhiệm kỳ chính thức sát với Trung ương Đảng và có nhiệm kỳ không quá 2 khóa hay Đại hội.